Tháng 7 năm 1957, Lê Duẩn được Trung ương Đảng rút ra Bắc để chủ trì công việc của Ban Bí thư. Là một cộng sự cũ của Lê Duẩn[4] trong Xứ ủy Nam Bộ, ông được Lê Duẩn đưa về làm Phó trưởng ban Tổ chức Trung ương. Tháng 12 năm 1959, khi Lê Duẩn được cử làm Phó Ban chuẩn bị văn kiện Đại hội toàn quốc lần thứ III của Đảng, ông cũng được phân công làm Chánh Văn phòng Trung ương Đảng.

Tháng 9 năm 1960, tại Đại hội Đại biểu lần thứ III của Đảng, ông được bầu lại vào Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam, được bầu vào Ban Bí thư, năm 1961 được cử làm Ủy viên Ủy ban Kiểm tra Trung ương[5].

Năm 1973, ông được phân công làm Trưởng ban tổ chức Trung ương lần thứ 2, thay cho Lê Đức Thọ sang làm Trưởng ban Miền Nam.

Tháng 12 năm 1976, tại Đại hội Đại biểu lần thứ IV của Đảng, ông tái đắc cử Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam, được bầu vào Bộ Chính trị. Đầu năm sau, ông được phân công tham gia Thành ủy Hà Nội và được bầu làm Bí thư Thành ủy Hà Nội. Ông giữ chức vụ này liên tiếp 2 nhiệm kỳ liên tiếp cho đến khi nghỉ hưu năm 1986. Tuy nhiên, ông vẫn được Bộ Chính trị phân công tham gia tổng kết công tác xây dựng Đảng và công tác cán bộ.

Ông còn là đại biểu Quốc hội khóa VI và VII.

Ông mất ngày 25 tháng 4 năm 1995, hưởng thọ 83 tuổi.